Loading...
机构名称:
¥ 1.0

受认知启发的 NLP 利用人类数据来教机器语言处理机制。最近,神经网络已经通过行为数据得到增强,以解决一系列涵盖语法和语义的 NLP 任务。我们是第一个利用神经科学数据,即脑电图 (EEG),为神经注意力模型提供有关人类大脑语言处理的信息的人。处理 EEG 数据的挑战在于特征非常丰富,需要大量预处理才能分离特定于文本处理的信号。我们设计了一种方法来寻找这样的 EEG 特征,通过将理论驱动的裁剪与随机森林树分割相结合来监督机器注意力。经过这种降维后,预处理的 EEG 特征能够区分从公开的 EEG 语料库中检索到的两个阅读任务。我们应用这些特征来规范关系分类的注意力,并表明 EEG 比强基线更具信息量。这种改进取决于任务的认知负荷和 EEG 频域。因此,用 EEG 信号通知神经注意力模型是有益的,但需要进一步研究以了解哪些维度在 NLP 任务中最有用。

arXiv:2006.05113v2 [cs.CL] 2020 年 10 月 2 日

arXiv:2006.05113v2 [cs.CL] 2020 年 10 月 2 日PDF文件第1页

arXiv:2006.05113v2 [cs.CL] 2020 年 10 月 2 日PDF文件第2页

arXiv:2006.05113v2 [cs.CL] 2020 年 10 月 2 日PDF文件第3页

arXiv:2006.05113v2 [cs.CL] 2020 年 10 月 2 日PDF文件第4页

arXiv:2006.05113v2 [cs.CL] 2020 年 10 月 2 日PDF文件第5页

相关文件推荐

2020 年
¥1.0